Инсталляции 01–04

Чтобы сервер всегда имел один и тот же адрес в локальной сети 192.168.12.x

Узнать имя сетевого интерфейса

ip a

Ищите интерфейс со статусом UP и MAC-адресом. В VMware это обычно ens33, в VirtualBox — enp0s3, на реальном железе — eno1, enp3s0 и т.п.

Проверить текущий конфиг

ls /etc/netplan/
sudo cat /etc/netplan/*.yaml

Отредактировать конфиг

sudo nano /etc/netplan/50-cloud-init.yaml

Привести к виду (заменить ens33 на своё имя):

network:
  version: 2
  ethernets:
    ens33:
      addresses:
      - "192.168.12.33/24"
      routes:
      - to: "default"
        via: "192.168.12.1"
      nameservers:
        addresses: [8.8.8.8, 1.1.1.1]

Применить и проверить

sudo netplan apply
ip a        # должен быть 192.168.12.33/24
ip route    # строка default via 192.168.12.1

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500
    inet 192.168.12.33/24 brd 192.168.12.255 scope global ens33

default via 192.168.12.1 dev ens33 proto static

Управлять сервером с другого компьютера

sudo apt update
sudo apt install -y openssh-server
sudo systemctl enable --now ssh
systemctl status ssh --no-pager

С другого ПК в сети 192.168.12.x:

ssh @192.168.12.33

Ubuntu Server ставится на LVM-раздел, который по умолчанию занимает не весь диск

Диагностика

df -h              # текущий размер корня
sudo vgdisplay     # ищем Free PE / Size

Если Free PE / Size больше нуля — свободное место есть, можно расширять.

Расширить том и файловую систему

sudo lvdisplay                              # точное имя тома
sudo lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
sudo resize2fs /dev/ubuntu-vg/ubuntu-lv    # для ext4

Если свободных PE нет

sudo apt install -y cloud-guest-utils
sudo growpart /dev/sda 3      # номер раздела уточнить в lsblk
sudo pvresize /dev/sda3
sudo lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
sudo resize2fs /dev/ubuntu-vg/ubuntu-lv
df -h /

Когда sda2 — обычный ext4 прямо на диске, а не LVM-том. Именно этот случай на вашем сервере.

Как понять, какой у вас случай

lsblk
sudo vgdisplay

• LVM есть (в vgdisplay видно ubuntu-vg) → используйте раздел 03.
• LVM нет (в lsblk сразу sda2 → /) → используйте этот раздел.

Шаг 1. Диагностика

lsblk                # раздел sda2 40G, а диск sda — 80G → есть куда расти
df -h /              # покажет реальный размер ФС (не раздела!)

Шаг 2. Расширить раздел на всё свободное место

sudo apt update
sudo apt install -y cloud-guest-utils
sudo growpart /dev/sda 2

Ожидаемый вывод:

CHANGED: partition=2 start=... old: size=... end=...
         new: size=... end=...

Шаг 3. Проверить, что раздел вырос

lsblk

В колонке SIZE для sda2 должно быть новое значение (например, 80G вместо 40G).

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sda      8:0    0   80G  0 disk
├─sda1   8:1    0    1M  0 part
└─sda2   8:2    0   80G  0 part /

Шаг 4. Расширить файловую систему

sudo resize2fs /dev/sda2     # для ext4, работает на лету

resize2fs 1.47.0 (5-Feb-2023)
Filesystem at /dev/sda2 is mounted on /; on-line resizing required
The filesystem on /dev/sda2 is now 20709376 (4k) blocks long.

Шаг 5. Проверить результат

df -h /

Пример вывода до и после:

Если growpart не сработал

Иногда раздел занят так, что growpart отказывается работать. Тогда — через parted:

sudo parted /dev/sda
(parted) print            # посмотреть таблицу разделов
(parted) resizepart 2     # выбрать раздел 2
End? [40.0GB]? 100%       # указать 100% (или 80GB)
(parted) quit
sudo resize2fs /dev/sda2
df -h /

Если расширять некуда (диск реально меньше нужного)

Тогда — либо добавить новый виртуальный диск в гипервизоре, либо перенести каталог моделей Ollama на другой носитель.

Добавить новый диск:

lsblk                          # увидеть новый /dev/sdb
sudo pvcreate /dev/sdb
sudo vgextend ubuntu-vg /dev/sdb
sudo lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
sudo resize2fs /dev/ubuntu-vg/ubuntu-lv
df -h /

Перенести модели Ollama на другой носитель:

sudo systemctl stop ollama
sudo mkdir -p /mnt/data/ollama-models
sudo rsync -aP /usr/share/ollama/.ollama/models/ /mnt/data/ollama-models/

Затем добавить в /etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MODELS=/mnt/data/ollama-models"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Удобный консольный файловый менеджер (две панели, как в Norton Commander)

sudo apt install -y mc
mc

Управление: F3 — просмотр, F4 — редактирование, F10 — выход.

Нужен для запуска Open WebUI в контейнере

curl -fsSL https://get.docker.com | sudo sh
sudo usermod -aG docker $USER
newgrp docker
docker --version

Docker version 27.x.x, build xxxxxxx

Движок для запуска локальных LLM

Установка

curl -fsSL https://ollama.com/install.sh | sh
newgrp ollama
systemctl status ollama --no-pager

Разрешить Ollama слушать все интерфейсы

sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo nano /etc/systemd/system/ollama.service.d/override.conf

Содержимое файла:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

sudo systemctl daemon-reload
sudo systemctl restart ollama
ss -tlnp | grep 11434   # должно быть 0.0.0.0:11434

LISTEN 0  4096  0.0.0.0:11434  0.0.0.0:*  users:(("ollama",pid=...,fd=...))

Скачать модель

ollama pull llama3.1:8b
ollama list
ollama run llama3.1:8b   # выход: /bye

NAME            ID              SIZE    MODIFIED
llama3.1:8b     46e0c10c039e    4.9 GB  ...

Общаться с моделью из браузера, в том числе с других ПК

Скачать образ

docker pull ghcr.io/open-webui/open-webui:main

Запустить контейнер

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  -e OLLAMA_NUM_PARALLEL=1 \
  ghcr.io/open-webui/open-webui:main

Проверка

docker ps   # строка с open-webui, статус Up
docker exec -it open-webui curl -s http://host.docker.internal:11434/api/tags

CONTAINER ID   IMAGE                                    STATUS         PORTS                    NAMES
a1b2c3d4e5f6   ghcr.io/open-webui/open-webui:main       Up 2 minutes   0.0.0.0:3000->8080/tcp   open-webui

Открыть в браузере

http://192.168.12.33:3000

Llama 3.1 плохо держит русский. Qwen 2.5 справляется заметно лучше

Скачать Qwen

ollama pull qwen2.5:7b      # баланс качества и размера
ollama pull qwen2.5:3b      # быстрее, для фоновых задач
ollama list

NAME            ID              SIZE    MODIFIED
qwen2.5:7b      ...             ~4.7 GB ...
qwen2.5:3b      ...             ~1.9 GB ...
llama3.1:8b     46e0c10c039e    4.9 GB  ...

Настроить System Prompt для русского языка

В Open WebUI: Аватар → Admin Panel → Settings → Models → выбрать модель → System Prompt

Ты — полезный ассистент. Всегда отвечай на русском языке, независимо от языка вопроса. Если пользователь пишет на другом языке — всё равно отвечай на русском. Не переходи на английский без явной просьбы. Технические термины можешь оставлять на английском, но объяснения давай по-русски.

Переключить фоновые задачи на лёгкую модель

В Admin Panel → Settings → Interface → Tasks:

• Local Task Model → qwen2.5:3b (чтобы фоновые задачи не забивали основную модель)
• Autocomplete Generation → выключить (главный пожиратель ресурсов)
• Tags Generation → выключить
• Follow Up Generation → выключить
• Title Generation → оставить (нужно для имён чатов)

Удалить старую модель (опционально)

ollama rm llama3.1:8b

Методы очистки очередей, зависших задач и починки Open WebUI

9.1. Выгрузить модель из памяти

Принудительно убивает все активные запросы и освобождает RAM.

ollama ps                    # посмотреть, что загружено
ollama stop qwen2.5:7b       # выгрузить конкретную модель
ollama stop qwen2.5:3b
ollama ps                    # проверить, что пусто

9.2. Перезапустить Open WebUI (сброс очереди)

Задачи в Open WebUI хранятся в памяти процесса. Перезапуск контейнера гарантированно очищает всё накопленное.

docker restart open-webui

9.3. Полный сброс контейнера (жёсткая очистка)

Если перезапуск не помог — удаляем контейнер и создаём заново. Данные в volume сохраняются.

docker stop open-webui
docker rm open-webui
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  -e OLLAMA_NUM_PARALLEL=1 \
  ghcr.io/open-webui/open-webui:main

9.4. Сброс застрявшего конфига (ошибка 500)

Если при запуске ошибка 500: Internal Error — конфиг в базе «застрял». Лечится переменной RESET_CONFIG_ON_START=true.

docker stop open-webui
docker rm open-webui
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  -e RESET_CONFIG_ON_START=true \
  -e OLLAMA_NUM_PARALLEL=1 \
  ghcr.io/open-webui/open-webui:main

9.5. Скрипт для быстрого восстановления

Создайте файл ~/open-webui-run.sh:

nano ~/open-webui-run.sh

#!/bin/bash
docker stop open-webui 2>/dev/null
docker rm open-webui 2>/dev/null
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  -e OLLAMA_NUM_PARALLEL=1 \
  ghcr.io/open-webui/open-webui:main

chmod +x ~/open-webui-run.sh
~/open-webui-run.sh   # запуск при проблемах

9.6. Удалить том (полная очистка данных WebUI)

docker stop open-webui
docker rm open-webui
docker volume rm open-webui
# затем запустить контейнер заново

9.7. Очистка системы Ubuntu

sudo apt clean                     # кэш пакетов
sudo apt autoremove --purge        # ненужные зависимости
sudo journalctl --vacuum-size=100M # логи systemd
df -h                              # проверить результат

9.8. Отключить лишние фоновые задачи

В Admin Panel → Settings → Interface → Tasks:

9.9. Остановить зацикливание инструментов

Если модель бесконечно вызывает один и тот же инструмент (search_calendar_events и т.п.):

1. Нажать Stop в интерфейсе.
2. Зайти в Admin Panel → Settings → Models.
3. Выбрать модель.
4. Отключить Built-in Tools (все).
5. Сменить Function Calling с Native на Legacy.
6. Сохранить. Начать новый чат.

9.10. Сброс интерфейса (сырые ключи вместо текста)

Если вместо русских названий видны ключи вида settings.personal.general.title:

• Открыть в режиме инкогнито — если там всё нормально, почистить кэш браузера.
• Проверить язык в настройках (должен быть ru-RU).
• Если не помогло — перезапустить контейнер.

• Имя интерфейса на физической машине будет другим (eno1, enp3s0). Узнать: ip a.
• GPU (NVIDIA): после установки драйверов Ollama автоматически подхватит GPU. Проверить: ollama ps покажет 100% GPU.
• Больше RAM — можно взять модели крупнее: qwen2.5:14b, qwen2.5:32b.
• Автозапуск уже настроен: Ollama (systemd) и Open WebUI (--restart always) поднимутся сами после перезагрузки.
• Бэкап данных Open WebUI — в Docker-томе open-webui. Посмотреть: docker volume inspect open-webui.
• Для генерации картинок нужен отдельный движок (ComfyUI / Automatic1111) — Ollama этого не умеет.

Обновление Open WebUI

docker pull ghcr.io/open-webui/open-webui:main
docker stop open-webui && docker rm open-webui
# затем снова docker run с теми же параметрами

Ограничение ресурсов на CPU-машине

Прямой запуск модели на 13 картах с режимом --split-mode layer. Ollama этого не умеет — она не даёт контроля над распределением по множеству GPU.

13.1. Установка CUDA Toolkit 12.9 (не 13.x!)

GTX 1060 — архитектура Pascal. NVIDIA убрала поддержку Pascal в CUDA 13.x, поэтому нужна именно CUDA 12.9.

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install -y cuda-toolkit-12-9

echo 'export PATH=/usr/local/cuda-12.9/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.9/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

13.2. Установка модуля ядра NVIDIA

Пакет драйвера и модуль ядра в Ubuntu — разные пакеты. Без модуля nvidia-smi не заработает даже после установки драйвера.

sudo apt install -y nvidia-driver-580
sudo apt install linux-modules-nvidia-580-$(uname -r)
sudo apt install -y nvidia-utils-580
sudo reboot

13.3. Сборка llama.cpp с CUDA

Ключевой момент — флаги -DGGML_CUDA=ON и -DCMAKE_CUDA_ARCHITECTURES=61. Без последнего CMake не включит Pascal в список архитектур.

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build \
  -DGGML_CUDA=ON \
  -DBUILD_SHARED_LIBS=OFF \
  -DCMAKE_CUDA_ARCHITECTURES=61
cmake --build build --config Release -j$(nproc)

[ 61%] Built target llama-common
[ 91%] Linking CXX executable ../bin/llama-cli
[100%] Linking CXX executable ../bin/test-chat
[100%] Built target test-chat

13.4. Проверка видимости карт

~/llama.cpp/build/bin/llama-cli --list-devices

Available devices:
  CUDA0: NVIDIA GeForce GTX 1060 6GB (6144 MiB, ...)
  CUDA1: NVIDIA GeForce GTX 1060 6GB (6144 MiB, ...)
  ...
  CUDA12: NVIDIA GeForce GTX 1060 6GB (6144 MiB, ...)

llama-cli: error while loading shared libraries: libcuda.so.1:
cannot open shared object file: No such file or directory

/usr/local/cuda-12.9/targets/x86_64-linux/lib/stubs/libcuda.so

13.5. Поиск модели в хранилище Ollama

Ollama хранит модели в виде blob-файлов. Чтобы найти GGUF-файл, запросите Modelfile:

ollama show hf.co/geoffmunn/Qwen3-Coder-30B-A3B-Instruct-f16:Q5_K_M --modelfile | grep FROM

Вывод покажет путь вида /usr/share/ollama/.ollama/models/blobs/sha256-... — это и есть GGUF-файл.

13.6. Запуск модели с распределением по слоям

~/llama.cpp/build/bin/llama-cli \
  -m /usr/share/ollama/.ollama/models/blobs/sha256-<хеш> \
  -ngl 999 \
  --split-mode layer \
  -c 4096

13.7. Что делать при ошибках

13.8. Ожидаемая производительность

Мульти-GPU ферма на старых картах даёт ёмкость, а не скорость. Её главное преимущество — возможность запустить модель, которая не влезает ни в одну современную потребительскую карту.